Использование аналитики

Обзор

Moodle Learning Analytics API — это открытая система, которая может стать основой для самых разнообразных моделей. Модели могут содержать показатели (также известные как предсказатели), цели (исход, который мы пытаемся предсказать), инсайты (сами предсказания), уведомления (сообщения, отправляемые в результате инсайтов) и действия (предлагаемые получателям сообщений, которые, в свою очередь, могут стать показателями).

learning_analytics_components.png

Большинство моделей учебной аналитики не включены по умолчанию. Включение моделей для использования должно производиться с учётом целей учреждения, которые должны поддерживаться моделями. При выборе или создании модели аналитики важны следующие шаги:

• Какой исход мы хотим предсказать? Или какой процесс мы хотим обнаружить? (Положительный или отрицательный)
• Как мы будем обнаруживать этот исход/процесс?
• Какие подсказки, по нашему мнению, могут помочь нам предсказать этот исход/процесс?
• Что мы должны сделать, если исход/процесс очень вероятен? Очень маловероятен?
• Кому следует отправить уведомление? Какое уведомление следует отправить?
• Какие возможности для действий следует предоставить при уведомлении?

Moodle может поддерживать несколько моделей прогнозирования одновременно, даже в рамках одного курса. Это можно использовать для A/B-тестирования, чтобы сравнить производительность и точность нескольких моделей.

Moodle learning analytics поддерживает два типа моделей.

• Модели на основе машинного обучения, включая предсказательные модели, используют модели ИИ, обученные с использованием истории сайта, для обнаружения или прогнозирования скрытых аспектов учебного процесса.
• «Статические» модели используют более простую, основанную на правилах систему обнаружения обстоятельств на сайте Moodle и уведомления выбранных пользователей.

Moodle core поставляется с тремя моделями. Дополнительные модели прогнозирования можно создать с помощью Analytics API или с помощью нового веб-интерфейса. Каждая модель основана на предсказании одного конкретного «целевого показателя» или исхода (желательного или нежелательного) на основе ряда выбранных показателей.

Вы можете просмотреть и управлять своими системными моделями из Администрирование > Аналитика > Модели аналитики.

manage_models.png

Существующие модели

Moodle core поставляется с тремя моделями: Студенты, рискующие бросить обучение и статические модели предстоящих мероприятий и отсутствия преподавания. Другие модели могут быть добавлены в вашу систему путём установки плагинов или с помощью веб-интерфейса (см. ниже). Существующие модели можно изучить и изменить на странице «Модели аналитики» в разделе «Администрирование»:

Вот некоторые действия, которые вы можете выполнить с существующей моделью:

• Получить прогнозы Обучите алгоритмы машинного обучения с новыми данными, доступными в системе, и получите прогнозы для текущих курсов. Прогнозы не ограничиваются текущими курсами — это зависит от модели.

• Посмотреть инсайты После того как вы обучили алгоритм машинного обучения с данными, доступными в системе, вы увидите инсайты (прогнозы) здесь для каждого «анализируемого». В включённой модели Студенты, рискующие бросить обучение, инсайты могут быть выбраны для каждого курса. Прогнозы не ограничиваются текущими курсами — это зависит от модели.

• Оценить Это ресурсоёмкий процесс, и он не будет виден, когда на сайтах установлен флажок «onlycli» (по умолчанию). Подробнее см. Использование аналитики.

• Журнал Просмотрите предыдущие журналы оценок, включая точность модели, а также другую техническую информацию, сгенерированную бэкендами машинного обучения, такими как ROC-кривые, графики обучающих кривых, каталог журналов tensorboard или коэффициент корреляции Мэтьюса модели. Доступная информация будет зависеть от используемого бэкенда машинного обучения.

• Редактировать Вы можете редактировать модели, изменяя список показателей или метод разделения по времени. Все предыдущие прогнозы будут удалены при изменении модели. Модели, основанные на предположениях (статические модели), не могут быть отредактированы.

• Включить/отключить Это позволяет модели запускать процессы обучения и прогнозирования. Запланированная задача, которая обучает алгоритмы машинного обучения с новыми данными, доступными в системе, и получает прогнозы для текущих курсов, пропускает отключённые модели. Предыдущие прогнозы, сгенерированные отключёнными моделями, недоступны до тех пор, пока модель не будет снова включена.

• Экспорт Экспортируйте данные обучения вашего сайта, чтобы поделиться ими с партнёрскими учреждениями или использовать их на новом сайте. Действие «Экспорт» для моделей позволяет вам создать файл csv, содержащий данные модели об индикаторах и весах, не раскрывая никаких данных, специфичных для вашего сайта. Мы будем запрашивать отправку этих файлов моделей, чтобы оценить ценность моделей на разных типах сайтов.

• Недопустимые элементы сайта Отчёты о том, какие элементы на вашем сайте не могут быть проанализированы этой моделью

• Очистить прогнозы Удаляет все прогнозы модели и данные обучения

Основные модели

Студенты, рискующие бросить обучение

Модель Студенты, рискующие бросить обучение предсказывает студентов, которые рискуют не завершить (бросить) курс Moodle, основываясь на низкой вовлечённости студентов. В этой модели определение «бросил обучение» означает «отсутствие активности студента в последней четверти курса». Прогнозирующая модель использует модель вовлечённости студентов Community of Inquiry, состоящую из трёх частей:

• Когнитивное присутствие
• Социальное присутствие
• Присутствие преподавателя

Эта прогнозирующая модель способна анализировать и делать выводы на основе широкого спектра курсов, а также применять эти выводы для прогнозирования новых курсов. Модель не ограничена прогнозированием успеха студентов в точных копиях курсов, предлагавшихся в прошлом. Однако есть некоторые ограничения:

1. Эта модель требует определённого объёма данных в Moodle для прогнозирования. В настоящее время в набор индикаторов включены только основные мероприятия Moodle (см. ниже). Курсы, в которых не включено несколько основных мероприятий Moodle за «временной срез» (в зависимости от метода разделения по времени), будут иметь слабую поддержку прогнозирования в этой модели. Эта прогнозирующая модель будет наиболее эффективной для полностью онлайн или «гибридных» или «смешанных» курсов со значительными онлайн-компонентами.
2. Эта прогнозирующая модель предполагает, что курсы имеют фиксированные даты начала и окончания, и не предназначена для использования с курсами с непрерывной регистрацией. Модели, поддерживающие более широкий спектр типов курсов, будут включены в будущие версии Moodle. Из-за этого предположения модели очень важно правильно установить даты начала и окончания каждого курса для использования этой модели. Если даты начала и окончания прошлых и текущих курсов не установлены правильно, прогнозы не могут быть точными. Поскольку поле даты окончания курса было введено только в Moodle 3.2, а некоторые курсы могли не иметь установленной даты начала курса в прошлом, мы включаем интерфейс командной строки:

$ admin/tool/analytics/cli/guess_course_start_and_end.php

Этот скрипт пытается оценить прошлые даты начала и окончания курса, просматривая записи о зачислении студентов и журналы активности студентов. После запуска этого скрипта проверьте, что предполагаемые даты начала и окончания соответствуют действительности.

Предстоящие мероприятия

Статическая модель «предстоящие мероприятия» проверяет наличие мероприятий с предстоящими сроками выполнения и выводит их на страницу календаря пользователя.

Нет преподавания

Инсайты этой модели будут информировать менеджеров сайта о том, в каких курсах с предстоящей датой начала не будет преподавательской деятельности. Это простая «статическая» модель, и она не использует бэкенд машинного обучения для возврата прогнозов. Она основывает прогнозы на предположениях, например, что нет преподавания, если нет студентов.

Создание и редактирование моделей

Новые модели машинного обучения можно создать с помощью Analytics API, импортировав экспортированную модель с другого сайта или используя новый веб-интерфейс. ![](/img/Using_analytics/lmsENimg/new_model.png "new_